引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！ 1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可 ...

1.k近邻算法的思想 给定一个训练集，对于新的输入实例，在训练集中找到与该实例最近的k个实例，这k个实例中的多数属于某个类，就把该输入实例分为这个类。 因为要找到最近的k个实例，所以计算输入实例与 ...

给定训练集$\{x^{(1)},...,x^{(m)}\}$，想把这些样本分成不同的子集，即聚类，$x^{(i)}\in\mathbb{R^{n}}$，但是这是个无标签数据集，也就是说我们再聚类的时候 ...

1.KNN原理： 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对 ...

1.引言 以前我们讨论的概率模型都是只含观测变量(observable variable), 即这些变量都是可以观测出来的，那么给定数据，可以直接使用极大似然估计的方法或者贝叶斯估计的方法；但是当模 ...

1.引言 在高斯混合和EM算法中，我们运用EM算法拟合混合模型，但是我们得考虑得需要多少的样本数据才能准确识别出数据中的多个高斯模型！看下面两种情况的分析： 第一种情况假如有 m 个样本， ...

考虑一个分类问题： 根据一个动物的特征来区分该动物是大象（y=1）还是狗（y = 0）.利用逻辑回归找到一条直线，即分界线，将训练集中的大象和狗分开，当给定一个新的动物特征时，检查该动物位于分界线的 ...

一、引言 最近写了许多关于机器学习的学习笔记，里面经常涉及概率论的知识，这里对所有概率论知识做一个总结和复习，方便自己查阅，与广大博友共享，所谓磨刀不误砍柴工，希望博友们在这篇博文的帮助下，阅读机器 ...

首先介绍高斯混合模型： 高斯混合模型是指具有以下形式的概率分布模型： 一般其他分布的混合模型用相应的概率密度代替（1）式中的高斯分布密度即可。 ...

　　在因子分析(Factor analysis)中，介绍了一种降维概率模型，用EM算法（EM算法原理详解）估计参数。在这里讨论另外一种降维方法：主元分析法(PCA)，这种算法更加直接，只需要进行特征向 ...